查看原文
其他

【自然资源一体化“新”架构】自然资源业务数据治理的七步战法

DIST DIST上海数慧 2022-07-25

点击蓝字关注我们

  导 读  

在上期文章《你get到“业务数据治理”了吗?》中,相信大家已经了解到业务数据治理的重要性。那么,对于自然资源部门而言,其业务数据需要通过什么方法和步骤进行治理,才能达到数据反哺业务、驱动业务创新的目的呢?下面,小编就跟各位继续探讨这个问题。

现状与挑战

机构改革后,各地自然资源部门都继承了原各部门的大量应用系统和数据资源,存在数据异构多元、量大类多,甚至存在一数多源、数据混乱等问题。

01 数据多源分散、量大类多

以某市自然资源局为例,其规划业务数据主要来源于三个不同时期建设的业务审批系统,数据表有964个、字段总数17584个;其国土业务数据则主要来源于土地审批、执法等不同业务系统,数据表总计有1400多张,字段总数16651个。从这些数字就能看出,自然资源部门的数据多源分散、量大类多,数据清理工作十分庞杂。

02 数据标准不统一

由于自然资源部门现有的大部分应用系统都是由不同部门在不同阶段建设的,致使各类数据管理口径和模式不一致、数据标准差异大,同词不同义、同义不同词等问题普遍存在。这就导致很多应用系统难以使用,给业务办理带来了诸多不便和困扰。例如,在原规划业务系统中,用地性质分类采用2017年最新的城市用地分类标准,而国土业务系统则采用土地分类标准。这就导致同一块地的用地性质编码在两类业务系统中出现不一致的情形,想要准确统计出各类用地的利用情况相当困难。由此可见,统一数据标准无疑成为机构整合后必须要解决的问题。

03 数据整合关联难

还以某市自然资源局为例,机构合并后,其应用系统共计有100多个,承建的开发商有十几个,数据库大致可以划分为2类5个版本,不同系统还存在不同年份及不同区域的版本。现有各个应用系统产生的数据量、表、字段等都大小不一,数据之间的关联关系很难建立。

因此,如何把业务数据资源治理好,保障应用系统之间的高效协同和业务的顺畅办理,已然成为自然资源部门目前面临的最大挑战。

业务数据治理“七步法”

针对自然资源业务数据的现状和问题,参考《数据治理统一流程》《数据资产管理实践白皮书》等业界最佳实践,结合自有经验,上海数慧总结出自然资源业务数据治理的七个步骤。

“七步走”数据治理工程

01 

摸数据:即摸清家底。分析到底有哪些数据?属于哪类业务?质量如何?什么关系?

针对自然资源部门涉及的大量繁杂数据,应先从关键数据对象入手,通过开展数据结构分析、数据关系分析、数据流分析、数据质量分析、数据质量评估、数据分类梳理等,全面摸清自然资源部门的数据家底和数据脉络。

数据分析梳理流程

在所有数据摸查分析结果中,最重要的是数据实体关系图和数据流图。前者可全面展现整个自然资源部门的所有业务涉及到的数据实体(数据表或字段)及其关系,后者则体现各类数据的逻辑流向和逻辑变换过程。

02

建模型:建立数据模型。通过整体设计,重构数据资源目录、数据关系模型,建设数据分库等。

在摸清整个自然资源部门各类数据的基础上,按照数据应用场景、数据属性、数据特点,重新梳理自然资源的数据资源目录,科学合理地规划自然资源数据资源。比如:以自然资源业务审批为例,可以按照一级目录、二级目录、三级目录等逐级建立数据模型。

03

订标准:在数据规整处理、数据迁移前,制订好相关的数据标准规范。

基于国家、省、市关于自然资源数据建设要求,基于用户自身业务实际情况,制定统一的自然资源数据标准规范,包括数据分类与编码标准、数据建库标准、数据共享交换标准等。

04

做规整:通过数据规范化处理,提高数据质量,确保数据准确可信。

数据规整的重点是解决数据质量的问题,以避免乱数据、脏数据、差数据的出现而影响到数据利用效果。为此,可采用以关键数据为主要目标、以结果为导向的“三阶段”方法:第一个阶段编写数据规整算法,由机器自动规整,以完成大部分的规整作业;第二个阶段采用人工干预,完成剩余的少量规整任务;第三个阶段则通过人工核查,保证数据成果质量。

05

迁数据:执行数据抽取脚本,把旧系统的数据分批次迁移到新的业务库、数据仓库或主数据中。

对自然资源部门已有老系统中的数据,可按照其业务逻辑,采用“两分一评一核”的数据迁移策略,将其迁移到新系统、数据仓库或主数据中。在数据迁移过程中,须确保数据的完整性、权威性和一致性。

“两分”:指分批次和分阶段。首先按照数据域分出批次,每一个批次分为六个阶段,即:老系统库阶段、临时库阶段、中间库阶段、测试库阶段、试运行库阶段、正式库阶段,对每个阶段做不同的处理。

“一评”:指组内评估。即对中间过程产生的临时库、中间库和测试库做出评估评价。

“一核”:指业务复核。即针对最后的试运行库和正式库,由业务部门检查核对。

“两分一评一核”数据迁移

06

供接口:对规整迁移获取的数据,提供对外服务的接口,做到数据互联共享。

基于新的自然资源数据标准规范,以数据访问API、共享数据库、数据文件等方式,对外提供各种数据服务能力。提供接口的时候,考虑如图所示的“五分一统”的数据安全策略。

数据接口安全策略

07

立机制:从制度、流程、岗位等方面,确立数据治理的保障机制。

聚焦自然资源部门数据治理目标,始终坚持以“业务部门牵头、信息部门统筹管理、服务单位提供技术支撑”为原则,从制度、流程、岗位等方面,建立健全自然资源数据治理的保障机制,避免信息部门孤军作战、流程过长或授权模糊不清等问题的发生。

在将“摸数据、建模型、订标准、做规整、迁数据、供接口、立机制”七步战法投入实施时,需要对其实行并强化全生命周期的过程管控,以做到“数据入库前必审核、数据变更时可监测、数据产生后能审计”等不同阶段的管控要求。

数据全生命周期管控


 系列专题  


业务、数据和应用的全面整合,促进自然资源一体化走向微服务架构

当微服务“遇见”自然资源一体化时,必须回答好的五个问题

基于微服务的自然资源一体化中台新架构

自然资源多源异构应用系统和数据的整合技术

你get到“业务数据治理”了吗?

自然资源业务数据治理的七步战法




点“在看”给我一朵小黄花

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存